We consider distributed linear bandits where $M$ agents learn collaboratively to minimize the overall cumulative regret incurred by all agents. Information exchange is facilitated by a central server, and both the uplink and downlink communications are carried over channels with fixed capacity, which limits the amount of information that can be transmitted in each use of the channels. We investigate the regret-communication trade-off by (i) establishing information-theoretic lower bounds on the required communications (in terms of bits) for achieving a sublinear regret order; (ii) developing an efficient algorithm that achieves the minimum sublinear regret order offered by centralized learning using the minimum order of communications dictated by the information-theoretic lower bounds. For sparse linear bandits, we show a variant of the proposed algorithm offers better regret-communication trade-off by leveraging the sparsity of the problem.
translated by 谷歌翻译
网络体系结构搜索（NAS），尤其是可区分的体系结构搜索（DARTS）方法，已经显示出在特定感兴趣的特定数据集中学习出色的模型体系结构的强大力量。与使用固定的数据集相反，在这项工作中，我们关注NAS的不同但重要的方案：如何完善部署的网络模型体系结构，以增强其鲁棒性，并通过一些收集和错误分类的示例的指导来增强其鲁棒性，这些示例被某些降低了现实世界中的未知损坏具有特定的模式（例如噪声，模糊等）。为此，我们首先进行了一项实证研究，以验证模型体系结构绝对与腐败模式有关。令人惊讶的是，通过仅添加一些损坏和错误分类的示例（例如，$ 10^3 $示例）到清洁培训数据集（例如$ 5.0 \ times 10^4 $示例）中，我们可以完善模型体系结构并显着增强鲁棒性。为了使其更加实用，应仔细研究关键问题，即如何为有效的NAS指导选择适当的失败示例。然后，我们提出了一个新颖的核心失效指导飞镖，该飞镖嵌入了K-Center-Greedy算法的飞镖，以选择合适的损坏故障示例以完善模型体系结构。我们使用我们的方法在清洁和15个腐败上使用飞镖精制的DNN，并在四个特定的现实世界腐败的指导下进行了指导。与最先进的NAS以及基于数据启发的增强方法相比，我们的最终方法可以在损坏的数据集和原始清洁数据集上获得更高的精度。在某些腐败模式上，我们可以达到超过45％的绝对准确性提高。
translated by 谷歌翻译
作为最成功的AI驱动应用程序之一，推荐系统的目的是通过在我们生活的许多方面提供个性化建议，以有效而有效的方式帮助人们做出适当的决定，尤其是针对各种面向人类的在线服务，例如E-商务平台和社交媒体网站。在过去的几十年中，推荐系统的快速发展通过创造经济价值，节省时间和精力以及促进社会利益，从而使人类受益匪浅。但是，最近的研究发现，数据驱动的推荐系统可能会对用户和社会构成严重威胁，例如传播虚假新闻以操纵社交媒体网站中的公众舆论，扩大不公平为代表性不足的团体或在工作匹配服务中的个人，或从建议结果中推断隐私信息。因此，系统的可信赖性一直吸引着各个方面的关注，以减轻推荐系统引起的负面影响，以增强公众对推荐系统技术的信任。在这项调查中，我们提供了可信赖的推荐系统（TREC）的全面概述，特别关注六个最重要的方面；即安全与鲁棒性，非歧视与公平，解释性，隐私，环境福祉以及问责制和可审计性。对于每个方面，我们总结了最近的相关技术，并讨论了潜在的研究方向，以帮助未来实现值得信赖的推荐系统。
translated by 谷歌翻译
最近的研究表明，基于神经网络的深度推荐系统容易受到对抗性攻击的影响，攻击者可以将精心制作的虚假用户配置文件（即，伪造用户与之互动的一组项目）注入目标推荐系统，以实现恶意目的，例如促进或降低一组目标项目。由于安全性和隐私问题，在黑框设置下执行对抗性攻击更为实用，在黑框设置下，攻击者无法轻松访问目标系统的体系结构/参数和培训数据。但是，在Black-Box设置下生成高质量的假用户配置文件，对于目标系统的资源有限，这是一项挑战。为了应对这一挑战，在这项工作中，我们通过利用项目的属性信息（即项目知识图）引入了一种新颖的策略，这些信息可以公开访问并提供丰富的辅助知识来增强伪造用户配置文件的产生。更具体地说，我们提出了一项知识增强的黑框攻击框架（KGATTACK），以通过深度强化学习技术有效地学习攻击政策，其中知识图无缝集成到层次结构策略网络中，以生成伪造的用户配置文件，以表演对抗性黑色 - 黑色 - - 黑色 - 黑色 - 盒子攻击。在各种现实世界数据集上进行的全面实验证明了在黑框设置下提出的攻击框架的有效性。
translated by 谷歌翻译
我们考虑使用个性化的联合学习，除了全球目标外，每个客户还对最大化个性化的本地目标感兴趣。我们认为，在一般连续的动作空间设置下，目标函数属于繁殖的内核希尔伯特空间。我们提出了基于替代高斯工艺（GP）模型的算法，该算法达到了最佳的遗憾顺序（要归结为各种因素）。此外，我们表明，GP模型的稀疏近似显着降低了客户之间的沟通成本。
translated by 谷歌翻译
会话推荐系统（CRS）旨在捕获用户的当前意图，并通过实时多转交流交互提供建议。作为人机互动系统，CRS必须改善用户体验。但是，大多数CRS方法忽略了用户体验的重要性。在本文中，我们为CRS提出了两个关键点，以改善用户体验：（1）像人类一样说话，人类可以根据当前的对话环境以不同的风格说话。 （2）识别精细颗粒的意图，即使对于相同的话语，不同的用户也具有多种良好的意图，这与用户的固有偏好有关。根据观察结果，我们提出了一个新颖的CRS模型，即创建的定制对话推荐系统（CCRS），该系统从三个角度从三个角度定制了用户的CRS模型。对于类似人类的对话服务，我们提出了多式对话响应生成器，该响应响应生成器选择了语音发言的上下文感知语言风格。为了提供个性化的建议，我们在用户固有的偏好的指导下从对话上下文中提取用户当前的细粒度意图。最后，为了自定义每个用户的模型参数，我们从元学习的角度训练模型。广泛的实验和一系列分析表明，我们的CCR在推荐和对话服务上的优势。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
量子计算机是下一代设备，有望执行超出古典计算机范围的计算。实现这一目标的主要方法是通过量子机学习，尤其是量子生成学习。由于量子力学的固有概率性质，因此可以合理地假设量子生成学习模型（QGLM）可能会超过其经典对应物。因此，QGLM正在从量子物理和计算机科学社区中受到越来越多的关注，在这些QGLM中，可以在近期量子机上有效实施各种QGLM，并提出了潜在的计算优势。在本文中，我们从机器学习的角度回顾了QGLM的当前进度。特别是，我们解释了这些QGLM，涵盖了量子电路出生的机器，量子生成的对抗网络，量子玻尔兹曼机器和量子自动编码器，作为经典生成学习模型的量子扩展。在这种情况下，我们探讨了它们的内在关系及其根本差异。我们进一步总结了QGLM在常规机器学习任务和量子物理学中的潜在应用。最后，我们讨论了QGLM的挑战和进一步研究指示。
translated by 谷歌翻译
预测中小型企业（SME）的破产风险（SME）是金融机构在做出贷款时的重要一步。但是，金融和AI研究领域的现有研究倾向于仅考虑企业内风险或传染性风险，而忽略了它们的相互作用和组合效应。这项研究首次考虑了在破产预测中的风险及其共同影响。具体而言，我们首先根据其风险内学习的统计学意义企业风险指标提出了企业内风险编码器。然后，我们根据企业关系信息从企业知识图中提出了一个企业传染风险编码器，以进行其传染风险嵌入。特别是，传染风险编码器既包括新提出的高图神经网络和异质图神经网络，这些神经网络可以在两个不同方面建模传播风险，即基于超系统的常见风险因素和直接扩散的风险。为了评估该模型，我们收集了SME上的现实世界多源数据数据，并构建了一个名为SMESD的新型基准数据集。我们提供对数据集的开放访问权限，该数据集有望进一步促进财务风险分析的研究。针对十二个最先进的基线的SMESD实验证明了拟议模型对破产预测的有效性。
translated by 谷歌翻译
股票运动预测（SMP）旨在预测上市公司的股份量股份，由于金融市场的挥发性，这是一个具有挑战性的任务。最近的财务研究表明，动量溢出效应在股票波动中发挥着重要作用。然而，以前的研究通常只学习相关公司之间的简单连接信息，这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题，我们首先建立一个更全面的市场知识图（MKG），其中包含有限的公司，包括上市公司及其相关的高管，以及包括明确关系和隐性关系的混合关系。之后，我们提出了一种新颖的双重关注网络，以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明，所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译